近年来,预先培训的表述的出现是计算机视觉,自然语言和语音中AI应用的强大抽象。但是,控制策略学习仍然由Tabula-Rasa学习范式主导,而Visuo-Motor策略经常使用部署环境中的数据进行培训。在这种情况下,我们重新审视并研究了预训练的视觉表示对控制的作用,以及在大规模计算机视觉数据集中训练的特定表示。通过对不同控制域(栖息地,深态控制,Adroit,Franka Kitchen)的广泛经验评估,我们隔离和研究了不同表示培训方法,数据增强和功能层次结构的重要性。总体而言,我们发现,预先训练的视觉表示可以比培训控制政策的基本真实状态表示能力更具竞争力甚至更好。尽管仅使用来自标准视觉数据集中的室外数据,但这是没有部署环境中的任何域内数据。源代码以及更多信息,请访问https://sites.google.com/view/pvr-control。
translated by 谷歌翻译
Explainable Artificial Intelligence (XAI) is transforming the field of Artificial Intelligence (AI) by enhancing the trust of end-users in machines. As the number of connected devices keeps on growing, the Internet of Things (IoT) market needs to be trustworthy for the end-users. However, existing literature still lacks a systematic and comprehensive survey work on the use of XAI for IoT. To bridge this lacking, in this paper, we address the XAI frameworks with a focus on their characteristics and support for IoT. We illustrate the widely-used XAI services for IoT applications, such as security enhancement, Internet of Medical Things (IoMT), Industrial IoT (IIoT), and Internet of City Things (IoCT). We also suggest the implementation choice of XAI models over IoT systems in these applications with appropriate examples and summarize the key inferences for future works. Moreover, we present the cutting-edge development in edge XAI structures and the support of sixth-generation (6G) communication services for IoT applications, along with key inferences. In a nutshell, this paper constitutes the first holistic compilation on the development of XAI-based frameworks tailored for the demands of future IoT use cases.
translated by 谷歌翻译
分散的多代理导航的代理缺乏世界知识,无法可靠地制定安全和(接近)最佳计划。他们将决定基于邻居的可观察状态,这隐藏了邻居的导航意图。我们提出了通过机构间沟通的增强分散导航,以提高其绩效和援助代理,以做出合理的导航决策。在这方面,我们提出了一种新颖的增强学习方法,用于使用选择性间隔沟通来避免多代理碰撞。我们的网络学会决定“何时”并与“谁”交流,以端到端的方式索取其他信息。我们将沟通选择作为链接预测问题,在该问题中,如果可以观察到的信息,网络可以预测是否需要通信。传达的信息增加了观察到的邻居信息以选择合适的导航计划。随着机器人的邻居数量的变化,我们使用多头自发项机制来编码邻居信息并创建固定长度的观察向量。我们验证我们提出的方法在挑战模拟基准中实现了多个机器人之间的安全有效导航。通过学习的通信,我们的网络的性能比在各种指标(例如到目标和碰撞频率)中的现有分散方法的表现要好得多。此外,我们展示了网络有效地学会在高复杂性情况下进行必要时进行交流。
translated by 谷歌翻译
我们为仓库环境中的移动机器人提供基于新颖的强化学习(RL)任务分配和分散的导航算法。我们的方法是针对各种机器人执行各种接送和交付任务的场景而设计的。我们考虑了联合分散任务分配和导航的问题,并提出了解决该问题的两层方法。在更高级别,我们通过根据马尔可夫决策过程制定任务并选择适当的奖励来最大程度地减少总旅行延迟(TTD)来解决任务分配。在较低级别,我们使用基于ORCA的分散导航方案,使每个机器人能够独立执行这些任务,并避免与其他机器人和动态障碍物发生碰撞。我们通过定义较高级别的奖励作为低级导航算法的反馈来结合这些下层和上层。我们在复杂的仓库布局中进行了广泛的评估,并具有大量代理商,并根据近视拾取距离距离最小化和基于遗憾的任务选择,突出了对最先进算法的好处。我们观察到任务完成时间的改善高达14%,并且在计算机器人的无碰撞轨迹方面提高了40%。
translated by 谷歌翻译
对象检测是自动驾驶中的一个全面研究的问题。但是,在鱼眼相机的情况下,它的探索相对较少。强烈的径向失真破坏了卷积神经网络的翻译不变性电感偏置。因此,我们提出了自动驾驶的木观鱼眼检测挑战,这是CVPR 2022年全向计算机视觉(OMNICV)的一部分。这是针对鱼眼相机对象检测的首批比赛之一。我们鼓励参与者设计在没有纠正的情况下对鱼眼图像的本地工作的模型。我们使用Codalab根据公开可用的Fisheye数据集主持竞争。在本文中,我们提供了有关竞争的详细分析,该分析吸引了120个全球团队的参与和1492份提交的参与。我们简要讨论获胜方法的细节,并分析其定性和定量结果。
translated by 谷歌翻译
现代对象检测体系结构正朝着采用自我监督的学习(SSL)来通过相关的借口任务来提高性能检测。文献中尚未探讨单眼3D对象检测的借口任务。本文研究了已建立的自我监督边界框的应用,通过将随机窗口标记为借口任务来回收。训练了3D检测器的分类器头,以对包含不同比例的地面真相对象的随机窗口进行分类,从而处理前后背景的不平衡。我们使用RTM3D检测模型作为基线评估借口任务,并在应用数据增强的情况下评估。我们证明,在基线得分上,使用SSL在MAP 3D中的2-3%和0.9-1.5%的BEV得分之间的提高。我们提出了反向类频率重新加权(ICFW)地图分数,该分数突出显示了具有长尾巴的类不平衡数据集中低频类检测的改进。我们证明了ICFW的改进MAP 3D和BEV分数,以考虑Kitti验证数据集中的类不平衡。通过借口任务,我们看到ICFW指标增加了4-5%。
translated by 谷歌翻译
环绕视图相机是用于自动驾驶的主要传感器,用于近场感知。它是主要用于停车可视化和自动停车的商用车中最常用的传感器之一。四个带有190 {\ deg}视场覆盖车辆周围360 {\ deg}的鱼眼相机。由于其高径向失真,标准算法不容易扩展。以前,我们发布了第一个名为Woodscape的公共鱼眼环境视图数据集。在这项工作中,我们发布了环绕视图数据集的合成版本,涵盖了其许多弱点并扩展了它。首先,不可能获得像素光流和深度的地面真相。其次,为了采样不同的框架,木景没有同时注释的所有四个相机。但是,这意味着不能设计多相机算法以在新数据集中启用的鸟眼空间中获得统一的输出。我们在Carla模拟器中实现了环绕式鱼眼的几何预测,与木观的配置相匹配并创建了Synwoodscape。
translated by 谷歌翻译
尽管深度神经网络(DNNS)在环境感知任务上取得了令人印象深刻的表现,但它们对对抗性扰动的敏感性限制了它们在实际应用中的使用。在本文中,我们(i)提出了一种基于对复杂视觉任务的多任务感知(即深度估计和语义分割)的新型对抗扰动检测方案。具体而言,通过在输入图像的提取边缘,深度输出和分割输出之间的不一致之处检测到对抗性扰动。为了进一步提高这一技术,我们(ii)在所有三种方式之间发展了新颖的边缘一致性损失,从而提高了它们的初始一致性,从而支持我们的检测方案。我们通过采用各种已知攻击和图像噪声来验证检测方案的有效性。此外,我们(iii)开发了多任务对抗攻击,旨在欺骗这两个任务以及我们的检测方案。对城市景观和KITTI数据集的实验评估表明,在假设5%的假阳性率的假设下,最高100%的图像被正确检测为对抗性扰动,具体取决于扰动的强度。代码可在https://github.com/ifnspaml/advattackdet上找到。 https://youtu.be/kka6goywmh4的简短视频可提供定性结果。
translated by 谷歌翻译
社交媒体职位的情感分析和各种营销和情感目的的评论正在获得认可。随着各种母语中的代码混合含量的增加,需要康复研究来产生有前途的结果。这篇研究论文以广泛的Dravidian语言kannada,泰米尔和马拉雅拉姆的语义混合社交媒体评论的情感分析,对这项研究赋予了这项研究。它描述了Dravidian-Codemix在Fire 2021通过使用预先训练的模型如Ulmfit和Multi语言BERT在代码混合数据集,音译(TRAAI)上的训练型模型,英文翻译(TRAA)的培训模型来描述TRAI数据和所有三个的结合。结果记录在本研究论文中,最佳型号分别在泰米尔,克南纳和马拉雅拉姆任务中站在4号,第5和第10位。
translated by 谷歌翻译
移动对象检测和分割是自主驱动管道中的基本任务。检测和隔离车辆周围环境的静态和移动部件在路径规划和定位任务中特别关键。本文提出了一种新的实时架构,用于光检测和测距(LIDAR)数据的运动分割。我们在2D鸟瞰图(BEV)表示中使用两个连续扫描的LIDAR数据(BEV)表示,以将像素明智的分类执行为静态或移动。此外,我们提出了一种新的数据增强技术,以减少静态和移动物体之间的显着类别不平衡。我们通过用切割和粘贴静电车辆人工合成移动物体来实现这一点。我们在常用的汽车嵌入式平台上展示了​​8毫秒的低延迟,即Nvidia Jetson Xavier。据我们所知,这是第一个直接在Lidar Bev空间中执行运动细分的工作。我们为具有挑战性的Semantickitti数据集提供定量结果,HTTPS://youtu.be/2AJ-CL8B0LI提供定性结果。
translated by 谷歌翻译